SherbyNet - /page/wikibook/entry.mu

Micron Document

<!DOCTYPE html>

<title>Extract-transform-load</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading"><span class="mw-page-title-main">Extract-transform-load</span></h1>

</header>

</div>

<p><b>Extract-transform-load</b> (extraction, transformation et chargement) est une technologie informatique <a href="Intergicielle" class="mw-redirect" title="Intergicielle">intergicielle</a> permettant d'effectuer des synchronisations massives d'information d'une source de données (le plus souvent une base de données) vers une autre. Cette technologie est connue sous le sigle ETL, ou extracto-chargeur. Selon le contexte, il s'agit d'exploiter différentes fonctions, souvent combinées entre elles : « extraction », « transformation », « constitution » ou « conversion », « alimentation » ou « chargement ».

</p>

<div class="mw-heading mw-heading2"><h2 id="Organisation_et_Historique">Organisation et Historique</h2></div>

<p>Cette technologie repose sur :

</p>

<ul><li>des <i>connecteurs</i> servant à exporter ou importer les <a href="Donn%C3%A9e_(informatique)" title="Donnée (informatique)">données</a> dans les applications (<abbr class="abbr" title="Exemple">ex. :</abbr> connecteur <a href="Oracle_(base_de_donn%C3%A9es)" class="mw-redirect" title="Oracle (base de données)">Oracle</a> ou <a href="Systems%2C_applications%2C_and_products_for_data_processing" class="mw-redirect" title="Systems, applications, and products for data processing">SAP</a>…) ;</li>

<li>des <i>transformateurs</i> qui manipulent les <a href="Donn%C3%A9e_(informatique)" title="Donnée (informatique)">données</a> (agrégations, filtres, conversions…) ;</li>

<li>et des <i>mises en correspondance</i> (<i>mappages</i>). L'objectif est l'intégration ou la réexploitation de <a href="Donn%C3%A9e_(informatique)" title="Donnée (informatique)">données</a> d'un réservoir source dans un réservoir cible.</li></ul>

<p>À l'origine, les solutions d'ETL sont apparues pour le chargement régulier de <a href="Donn%C3%A9e_(informatique)" title="Donnée (informatique)">données</a> agrégées dans les <a href="Entrep%C3%B4ts_de_donn%C3%A9es" class="mw-redirect" title="Entrepôts de données">entrepôts de données</a>, avant de se diversifier vers les autres domaines logiciels. Ces solutions sont largement utilisées dans le monde bancaire et financier, ainsi que dans l'industrie, au vu de la multiplication des nombreuses interfaces.

</p><p>Des technologies complémentaires sont apparues par la suite : l'<a href="Int%C3%A9gration_d'applications_d'entreprise" title="Intégration d'applications d'entreprise">intégration d'applications d'entreprise</a>, puis l'<a href="Enterprise_service_bus" title="Enterprise service bus">ESB</a> (<i>enterprise service bus</i>).

</p><p>Il existe également des solutions d'<b>ETL</b> de contenu permettant de manipuler des données non structurées ou faiblement structurées, tels que les dossiers ou les documents. Ces solutions sont utilisées pour des projets de migration de documents. Par exemple, lors de migration de documents d'une application <a href="Gestion_%C3%A9lectronique_des_documents" title="Gestion électronique des documents">GED</a> vers une autre. Leur champ d'application peut également s'étendre à des projets d'<a href="Archivage_%C3%A9lectronique" title="Archivage électronique">archivage électronique</a>.

</p><p>Ces outils d'ETL sont également exploitables pour la manipulation de données non ou faiblement structurées dans le cadre de la <a href="Fouille_de_textes" title="Fouille de textes">fouille de textes</a>.

</p><p>Enfin, un <i><a href="Extract_load_transform" title="Extract load transform">extract load transform</a></i> (ELT) est un ETL particulier qui n'utilise pas de moteur pour effectuer la transformation des données, mais d'autres systèmes capables de faire de la transformation (e.g. bases de données sources ou cibles). C'est le cas d'outils comme <a href="Fivetran" title="Fivetran">Fivetran</a> ou Streams by Datanexions.

</p>

<div class="mw-heading mw-heading2"><h2 id="Fonctionnement_du_processus_ETL">Fonctionnement du processus ETL</h2></div>

<div class="mw-heading mw-heading3"><h3 id="Extraction">Extraction</h3></div>

<p>L'objectif d'ETL est de produire des données propres, faciles d'accès et qui peuvent être exploitées efficacement par l'analytique, l'<a href="Informatique_d%C3%A9cisionnelle" title="Informatique décisionnelle">informatique décisionnelle</a> et/ou les opérations commerciales<sup id="cite_ref-talend_1-0" class="reference"><a href="#cite_note-talend-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup>. Les données brutes peuvent être extraites de différentes sources, en particulier :

</p>

<ul><li>bases de données existantes ;</li>

<li>logs d'activité (trafic réseau, rapports d'erreurs, <abbr class="abbr" title="et cetera">etc.</abbr>) ;</li>

<li>comportement, performances et anomalies des applications ;</li>

<li>événements de sécurité ;</li>

<li>autres opérations qui doivent être décrites aux fins de conformité.</li></ul>

<p>Les données extraites sont parfois stockées dans un emplacement tel qu'un data lake ou un data warehouse.

</p>

<div class="mw-heading mw-heading3"><h3 id="Transformation">Transformation</h3></div>

<p><span class="need_ref" title="Ce passage est confus." style="cursor:help;">L'étape de transformation du processus ETL est celle des opérations les plus essentielles</span><sup class="need_ref_tag" style="padding-left:2px;">[pas clair]</sup>. L'opération la plus importante de l'étape de transformation consiste à appliquer aux données brutes les règles internes de l'entreprise de manière à répondre aux exigences en matière de reporting : les données brutes sont nettoyées et converties aux formats de rapport qui conviennent (si les données ne sont pas nettoyées, il devient plus difficile d'appliquer les règles internes de reporting).

</p><p>La transformation applique les règles définies en interne. Les normes qui garantissent la <a href="Qualit%C3%A9_des_donn%C3%A9es" title="Qualité des données">qualité des données</a> et leur accessibilité doivent tenir compte des pratiques suivantes :

</p>

<ul><li><b>Standardisation</b> : Définir les données à traiter, leur format et leur mode de stockage ainsi que d'autres considérations de base qui définiront les étapes qui suivent.</li>

<li><b>Déduplication</b> : Transmettre un rapport sur les doublons aux personnes chargées de la gouvernance des données ; exclure et/ou supprimer les données redondantes</li>

<li><b>Vérification</b> : Effectuer des vérifications automatisées pour comparer des données similaires telles que durée de transaction ou suivi des accès. Les tâches de vérification permettent d'éliminer les données inutilisables et de signaler les anomalies des systèmes, des applications ou des données.</li>

<li><b>Tri</b> : Maximiser l'efficacité des data Warehouse en regroupant et stockant les objets par catégorie (données brutes, données audio, mails, etc.). Vos règles de transformation ETL conditionnent la catégorisation de chaque objet et sa prochaine destination. Le processus ETL est parfois utilisé pour générer des tables d'agrégation qui sont ensuite proposées dans des rapports de base ; dans ce cas, vous devez trier puis agréger les données.</li>

<li><b>Autres tâches</b> : Tâches dont vous avez besoin et que vous définissez et paramétrez de telle sorte qu'elles s'exécutent en mode automatique</li></ul>

<div class="mw-heading mw-heading3"><h3 id="Chargement">Chargement</h3></div>

<p>La dernière étape du processus ETL standard consiste à charger les données extraites et transformées dans leur nouvel emplacement. En général, les <a href="Entrep%C3%B4ts_de_donn%C3%A9es" class="mw-redirect" title="Entrepôts de données">entrepôts de données</a> supportent deux modes pour le chargement des données : chargement complet (on recharge l'integralité des données) et chargement incrémental (seules les dernières données sont chargées).

</p>

<div class="mw-heading mw-heading2"><h2 id="Pilotage">Pilotage</h2></div>

<p>Le traitement ETL (cycle ponctuel ou programme de cycles) peut être lancé en ligne de commande ou via une <a href="Interface_graphique" title="Interface graphique">interface graphique</a>. Mais il y a certains points à surveiller. La gestion des exceptions, par exemple, peut être un processus très lourd. Dans bien des cas, la génération des extraits de données peut échouer si un ou plusieurs systèmes sont en panne. Si un système contient des données incorrectes, celles-ci peuvent avoir un impact sur les données extraites d'un autre système ; autrement dit, la supervision et le traitement des erreurs sont des activités essentielles.

</p>

<div class="mw-heading mw-heading2"><h2 id="Les_principaux_usages_de_l'ETL"><span id="Les_principaux_usages_de_l.27ETL"></span>Les principaux usages de l'ETL</h2></div>

<p>Dans la plupart des activités de l'entreprise, les données jouent un rôle essentiel : pour réaliser leur potentiel de valeur, elles doivent être déplacées et préparées pour exploitation, et ces opérations exigent les processus ETL. Exemples de cas d'usage pour les outils ETL<sup id="cite_ref-talend_1-1" class="reference"><a href="#cite_note-talend-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup> :

</p>

<ul><li>Migrer des données d'une application à une autre.</li>

<li>Répliquer des données pour la sauvegarde ou l'analyse des redondances.</li>

<li>Processus opérationnels tels que la migration des données d'un système CRM vers un gisement opérationnel ODS (Operational Data Store) afin d'améliorer ou d'enrichir les données, puis de les replacer dans le CRM.</li>

<li>Stocker les données dans un data Warehouse avant de les importer, les trier et les transformer dans un environnement d'informatique décisionnelle.</li>

<li>Migrer des applications on-premises vers des infrastructures cloud, cloud hybride ou multi-cloud.</li>

<li>Synchronisation des <a href="Syst%C3%A8me_critique" title="Système critique">systèmes critiques</a>.</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Performances_et_limites">Performances et limites</h2></div>

<p>Performances et limites<sup id="cite_ref-2" class="reference"><a href="#cite_note-2"><span class="cite-bracket">[</span>2<span class="cite-bracket">]</span></a></sup> :

</p>

<div class="mw-heading mw-heading3"><h3 id="Avantages">Avantages</h3></div>

<ul><li>Optimisé pour la structure de l’entrepôt de données</li>

<li>Peut traiter de grandes quantités de données dans une même exécution (traitement en lot)</li>

<li>Permet des transformations complexes et agrégations sur les données</li>

<li>La cédule d’exécution peut être contrôlée par l’administrateur</li>

<li>La disponibilité d’outils GUI sur le marché permet d’améliorer la productivité</li>

<li>Permet la réutilisation des processus et transformations (ex : packages dans SSIS)</li></ul>

<div class="mw-heading mw-heading3"><h3 id="Inconvénients"><span id="Inconv.C3.A9nients"></span>Inconvénients</h3></div>

<ul><li>Processus de développement long et coûteux</li>

<li><a href="Gestion_des_changements" title="Gestion des changements">Gestion des changements</a> nécessaire</li>

<li>Exige de l’espace disque pour effectuer les transformations (staging area)</li>

<li>Exécuté indépendamment du besoin réel</li>

<li>Latence des données entre la source et l’entrepôt</li>

<li>Unidirectionnel (des sources vers l’entrepôt de données)</li></ul>

<div class="mw-heading mw-heading2"><h2 id="La_différence_entre_l’ETL_et_EAI"><span id="La_diff.C3.A9rence_entre_l.E2.80.99ETL_et_EAI"></span>La différence entre l’ETL et EAI</h2></div>

<div class="mw-heading mw-heading3"><h3 id="Définition_EAI"><span id="D.C3.A9finition_EAI"></span>Définition <a href="Int%C3%A9gration_d'applications_d'entreprise" title="Intégration d'applications d'entreprise">EAI</a></h3></div>

<p>L’EAI, ou Enterprise Application Integration (en français, l’intégration des applications d’entreprise), désigne un processus en cours depuis de nombreuses années, l’intégration d’applications variées aﬁn qu’elles puissent partager librement l’information et les traitements<sup id="cite_ref-3" class="reference"><a href="#cite_note-3"><span class="cite-bracket">[</span>3<span class="cite-bracket">]</span></a></sup>. L’EAI est sous le feu des projecteurs des fournisseurs de logiciels et des analystes et permet enﬁn de régler un problème qui coûte aux très grandes entreprises 100 milliards de dollars par an<sup class="need_ref_tag" style="padding-left:2px;"><span title="Ce passage nécessite une référence (demandé le 24 novembre 2020) ; voir l'aide.">[réf. nécessaire]</span></sup>.

</p><p>Enterprise Application Integration (EAI) pour le terme consacré en anglais, est aussi appelé Echanges Inter-applicatifs de Données en français. Ce terme désigne une architecture SI qui permet à plusieurs logiciels de communiquer entre eux et de gérer les différents échanges. On parle aussi de gestion des flux inter-applicatifs. Par raccourci, les outils logiciels utilisés pour réaliser ces architectures EAI sont eux aussi appelés « logiciels EAI ».

</p><p>Un logiciel EAI permet de se connecter à tout type de sources de données, d’en extraire des données, de manipuler ces données, de structurer ces données puis de les déposer dans toutes autres structures de données. L’exécution de ces manipulations et la <a href="Synchronisation_de_donn%C3%A9es" title="Synchronisation de données">synchronisation de données</a> est programmable et déclenchée par tout type d’évènements<sup id="cite_ref-4" class="reference"><a href="#cite_note-4"><span class="cite-bracket">[</span>4<span class="cite-bracket">]</span></a></sup>.

</p>

<div class="mw-heading mw-heading3"><h3 id="Comparaison_ETL_/_EAI"><span id="Comparaison_ETL_.2F_EAI"></span>Comparaison ETL / <a href="Int%C3%A9gration_d'applications_d'entreprise" title="Intégration d'applications d'entreprise">EAI</a></h3></div>

<p>L’ETL est une technique d’intégration de données comme l’EAI. Les produits d’EAI sont orientés événements et supportent des traitements de type transactionnel, que l’ETL ne supporte pas. En revanche, l’ETL permet des transformations beaucoup plus complexes. Certains éditeurs de produits d’EAI et d’ETL deviennent partenaires, et on se dirige vers des solutions où l’EAI capture les données et les événements des applications en temps réel et les passe à l’outil ETL qui transforme les données et les charge dans l’environnement d'informatique décisionnelle.

</p><p><br>

</p>

<th scope="col" width="33%"><b>Comparaison générale ETL/EAI</b><sup id="cite_ref-5" class="reference"><a href="#cite_note-5"><span class="cite-bracket">[</span>5<span class="cite-bracket">]</span></a></sup>

</th>

<th scope="col" width="33%">ETL

</th>

</th></tr>

<tr>

<th scope="row">Mode principal

</th>

<td>Lot

</td>

<td>Flux (pseudo temps-réel)

</td></tr>

<tr>

<th scope="row">Orientation

</th>

<td>Données

</td>

<td>Métier

</td></tr>

<tr>

<th scope="row">Volumétrie

</th>

<td>potentiellement forte (ex 15 000 000 de lignes)

</td>

<td>relativement faible (ex. 100 000 lignes)

</td></tr>

<tr>

<th scope="row">Sources / Cibles

</th>

<td>↔<a href="SGBD" class="mw-redirect" title="SGBD">SGBD</a>, ←<a href="Operational_data_store" title="Operational data store">ODS</a>, ↔<a href="Entrep%C3%B4t_de_donn%C3%A9es" title="Entrepôt de données">entrepôts de données</a>, →<a href="Datamart" title="Datamart">datamart</a>, ←<a href="Progiciel_de_gestion_int%C3%A9gr%C3%A9" title="Progiciel de gestion intégré">progiciel de gestion intégré</a>, ←<a href="Gestion_de_la_relation_client" title="Gestion de la relation client">gestion de la relation client</a>

</td>

<td>↔inter-application au sens large

</td></tr></tbody></table>

<div class="mw-heading mw-heading2"><h2 id="ETL_virtuel">ETL virtuel</h2></div>

<p>En 2010, la <a href="Virtualisation" title="Virtualisation">virtualisation</a> de données a commencé à avancer le traitement ETL. L'application de la virtualisation de données ETL a permis de résoudre les tâches les plus courantes ETL de migration des données et l’intégration des applications pour de multiples sources de données dispersées. Virtual ETL fonctionne avec la représentation abstraite des objets ou des entités recueillies à partir de la variété des relationnelles, semi-structurés et des sources de données non structurées. Outils ETL peuvent tirer parti de la modélisation orientée objet et travailler avec les représentations des entités constamment stockées dans un emplacement central hub-and-spoke architecture. Une telle collection qui contient des représentations des entités ou des objets recueillis à partir des sources de données pour le traitement ETL est appelé un référentiel de métadonnées et il peut résider dans la mémoire ou être fait persistante. En utilisant un référentiel de métadonnées persistantes, les outils ETL peuvent passer des projets ponctuels à middleware persistant, d’effectuer l’harmonisation et des données de profilage des données de manière cohérente et en temps quasi-réel.

</p>

<div class="mw-heading mw-heading2"><h2 id="Voir_aussi">Voir aussi</h2></div>

<ul><li><a href="Intergiciel" class="mw-redirect" title="Intergiciel">Intergiciel</a></li>

<li><a href="Extract_load_transform" title="Extract load transform">Extract load transform</a></li></ul>

<div class="mw-heading mw-heading2"><h2 id="Notes_et_références"><span id="Notes_et_r.C3.A9f.C3.A9rences"></span>Notes et références</h2></div>

<li id="cite_note-talend-1"><span class="reference-text"><span class="ouvrage">« <a rel="nofollow" class="external text" href="https://fr.talend.com/resources/what-is-etl/"><cite style="font-style:normal;">ETL (Extract, Transform, Load) – Présentation générale</cite></a> », sur <span class="italique">Talend Real-Time Open Source Data Integration Software</span> <small style="line-height:1em;">(consulté le <time class="nowrap" datetime="2020-02-19" data-sort-value="2020-02-19">19 février 2020</time>)</small></span></span>

</li>

<li id="cite_note-2"><span class="mw-cite-backlink"><a href="#cite_ref-2">↑</a> </span><span class="reference-text"><a rel="nofollow" class="external free" href="https://cours.etsmtl.ca/mti820/public_docs/acetates/MTI820-Acetates-ETL_1pp.pdf">https://cours.etsmtl.ca/mti820/public_docs/acetates/MTI820-Acetates-ETL_1pp.pdf</a></span>

</li>

<li id="cite_note-3"><span class="mw-cite-backlink"><a href="#cite_ref-3">↑</a> </span><span class="reference-text"><span class="ouvrage">« <a rel="nofollow" class="external text" href="https://www.techniques-ingenieur.fr/"><cite style="font-style:normal;">Documentation scientifique et technique, conseil et formation | Techniques de l’Ingénieur</cite></a> », sur <span class="italique">www.techniques-ingenieur.fr</span> <small style="line-height:1em;">(consulté le <time class="nowrap" datetime="2020-02-19" data-sort-value="2020-02-19">19 février 2020</time>)</small></span></span>

</li>

<li id="cite_note-4"><span class="mw-cite-backlink"><a href="#cite_ref-4">↑</a> </span><span class="reference-text"><span class="ouvrage" id="2019">« <a rel="nofollow" class="external text" href="https://tenorsolutions.com/qu-est-ce-quun-eai/"><cite style="font-style:normal;">Qu'est-ce qu'un EAI - Enterprise Application Integration | Tenor EDI</cite></a> », sur <span class="italique">Tenor EDI Services, votre prestataire de solutions EDI, EAI et Dématérialisation</span>, <time class="nowrap" datetime="2019-03-11" data-sort-value="2019-03-11">11 mars 2019</time> <small style="line-height:1em;">(consulté le <time class="nowrap" datetime="2021-05-18" data-sort-value="2021-05-18">18 mai 2021</time>)</small></span></span>

</li>

<li id="cite_note-5"><span class="mw-cite-backlink"><a href="#cite_ref-5">↑</a> </span><span class="reference-text"><span class="ouvrage"><cite style="font-style:normal">« Les étapes de réalisation d’un projet »</cite>, dans <cite class="italique">L'apprentissage par projet</cite>, Presses de l'Université du Québec <small style="line-height:1em;">(<a href="International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <span class="nowrap">978-2-7605-1795-0</span>, <a rel="nofollow" class="external text" href="https://dx.doi.org/10.2307/j.ctv5j01fr.11">lire en ligne</a>)</small>, <abbr class="abbr" title="pages">p.</abbr> <span class="nowrap">91–150</span><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rft.genre=bookitem&rft.btitle=L%27apprentissage+par+projet&rft.atitle=Les+%C3%A9tapes+de+r%C3%A9alisation+d%E2%80%99un+projet&rft.pub=Presses+de+l%27Universit%C3%A9+du+Qu%C3%A9bec&rft.pages=91%E2%80%93150&rft.isbn=978-2-7605-1795-0&rfr_id=info%3Asid%2Ffr.wikipedia.org%3AExtract-transform-load"></span></span></span>

</li>

</ol></div>

</div>

<ul id="bandeau-portail" class="bandeau-portail"><li><span class="bandeau-portail-element"><span class="bandeau-portail-icone"><span class="noviewer" typeof="mw:File"></span></span> <span class="bandeau-portail-texte">Portail de l’informatique</span> </span></li> <li><span class="bandeau-portail-element"><span class="bandeau-portail-icone"><span class="noviewer" typeof="mw:File"></span></span> <span class="bandeau-portail-texte">Portail des données</span> </span></li> </ul></div><div><div class="zim-footer">

Cet article est issu de <a class="external text" title="Dernière modification le 2025-10-03" href="https://fr.wikipedia.org/wiki/?title=Extract-transform-load&oldid=229466316">Wikipédia</a>. Sauf mention contraire, le texte est disponible sous <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.fr">Creative Commons Attribution-Share Alike 4.0</a>. Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.

</div>

</div></div>

</div>

</main>

</div>

</body></html>